你可能不信,视频可以去马赛克了!
之前雷锋哥给大家推荐了黑科技「PULSE」去除图片马赛克,想必会有很多小伙伴问有没有影片去除马赛克的软件,大家在观看影片中,出现有暴力血腥等引人不适的画面通常都会打上马赛克,特别是日本影片将马赛克发挥到了极致,但人总是对未知好奇,想看马赛克本身的内容。
视频去马赛克看似不可逆的事情,早在2017年的时候 Google 的人工智能研究团队就公布过这项技术,马赛克的内容完全靠 AI 去猜,也就可能把你马赛克的脸猜成屁股。但随着技术的进步,今天它来了,这款名称「JavPlayer」视频去马赛克软件刚推出就一直被 "某些业界" 讨论的话题。
是什么原理
「JavPlayer」软件并非这项技术的研发,而是利用了「TecoGAN」 + 「Video Super Resolutio」项目制作出来的工具。去马赛克主要就是靠「TecoGAN」技术,原理是使用 "深度学习的视频超分辨率算法",简单理解就是从视频每一帧图采样,然后通过算法还原马赛克像素点。
下面三种动图是采用「TecoGAN」生成的,从项目里面的介绍,算法会很好的把细节复原,可以看出蜥蜴这张图的马赛克,皮上的纹理都很好的重新还原了出来。
好了,原理雷锋哥也不想介绍太多了(主要太复杂,看不懂),想知道更多原理的可以去项目页面看具体介绍。
这会估计这会很多小伙伴把封存已久的 "学习资料" 准备拿出来把 "难懂" 的题给解了吧。咱们还是来介绍「JavPlayer」这款软件吧。
JavPlayer介绍
「JavPlayer」这个软件的发起人是推特上一个日本人,据说他已经用这款软件完成一些 "学习资料" 的答题,雷锋哥是学渣,也不知道是哪些 "资料",相信会有人告诉我的。
「JavPlayer」软件已经把需要的框架都打包在一起了,直接运行就能使用,为了更好的效果需要借助插件,目前可实现四种去马赛克方案,下面对比下效果,先上马赛克图:
模糊锐化:先把马赛克模糊,再锐化,适合 "薄码" 的视频。
DeepCreampy:利用神经网络算法,细节容易糊掉,适合不太复杂的马赛克。
TecoGan:这就是文中提到的算法,对细节还原度比较不错,同时对电脑要求也比较高。
TecoGan+waifu:同时使用 waifu2x 无损放大技术,把细节放大,进一步提高清晰度。
JavPlayer使用
「TecoGAN」本身不带插件,雷锋哥已经整理好了插件,下载后首先需要把插件解压到 TecoGAN/TG 目录里面。接着运行软件,由于目前没有汉化版,网上很多小伙伴在找教程,下面雷锋哥简单介绍下,另外在下载地址里面也有图文教程。
1.点击右上角的 "文件夹" 图标加载视频文件,格式支持mp4,wmv,mkv,avi,jpg,png。
2.选择模式,这里有三种:Fast、Safe、Slow。推荐使用 Safe 模式,在速度和帧率上比较好。
3.选择算法,根据你的视频情况和电脑配置来选择吧,需要提升视频分辨率对电脑硬件有一定的要求。
4.设置去除马赛克的范围和时间,默认是5秒钟,可以点击下方的箭头来设置起始、终止、去除范围。
5.点击上方的 Record 按钮开始录制,据网友测试 1 小时的电影在 RTX 2080 显卡上需要 10 -15 个小时,所以建议大家先截取片段来测试,生成的影片会在 Movie 文件夹里面。
配置要求
CPU:i3或更高
GPU:GeForce GT710 或更高
内存:8GB或更高
系统:Windows 8 / 10
注:使用「TecoGAN」插件需要兼容AVX的CPU(SandyBridge或更高版本,i3或更高版本)和64位Windows系统。
总结
原视频/图片被破坏后本身就不可逆,虽然通过算法来修复,结果是不完美的,只是让自己单纯意淫罢了,但换个思路,是否能把低像素画质的老影片通过此办法来修复成高清版呢?软件本身支持扩展插件,期待后续有更强大的功能。
下载
公众号回复 GAN 获取下载地址
相关文章
资料参考:
知乎:https://zhuanlan.zhihu.com/p/126279711
TecoGAN:https://github.com/thunil/TecoGAN